记录炼丹优化tricks 最后更新： 2020-04-15 18:17:57 寻找合适的学习率(learning rate) 学习率是一个非常非常重要的超参数，这个 ...

本文把对抗训练用到了预训练和微调两个阶段，对抗训练的方法是针对embedding space，通过最大化对抗损失、最小化模型损失的方式进行对抗，在下游任务上取得了一致的效果提升。有趣的是， ...

背景 方法 作者们提出了一种模型驱动的方法，使用自动对抗的方法自动生成未观察过的对抗样本，并运用生成的样本最终提升阅读理解模型的效果鲁棒性，全程无需人工参与。 该方法可以简 ...